#coding:utf8
from pyspark import SparkContext,SparkConf

if __name__ == '__main__':
    conf = SparkConf().setAppName("test").setMaster("local[*]")
    sc = SparkContext(conf=conf)

    # 注意：有多少个分区保存出来的文件就会有几份
    rdd = sc.parallelize([1,3,2,5,3,6,8,4,2,4,5,1],3)

    # 可以写在本地文件
    # rdd.saveAsTextFile("../data/input/saveAsTextFile")

    # 也可以写在hdfs文件上
    rdd.saveAsTextFile("hdfs://node1:8020/output/out1")

    # 这里不会接收到返回值，因为foreach()是没有返回的
    # 这个算子是直接在Executor中输出的，而不是汇总到Driver中
    print(rdd.foreach(lambda x: x))